OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants
OmniInteract：面向实时全模态助手的流式交互评测基准
🧭 实时多模态交互评测 · 流式视频理解 ★ 深度解读
CUHK MMLab · SJTU · NTU · McMaster · CityUHK
首个通过原生在线流式推理评估全模态LLM的交互基准，系统衡量响应时机、中断处理和嵌套对话能力
📌 工作参考价值（4 点）
- 交互评估体系可直接复用：定义 interaction slot（trigger、response window、target answer）和 IA-QTF1 指标，综合衡量回答内容、时机和不当输出（spill、早响幻觉），可用于评估电商客服助手、直播推荐 Agent 的实时交互质量
- 原生在线推理范式对 Agent 部署有启发：要求模型仅依据已发生流内容决策，禁止未来窥探，这对构建真实场景下的生成式推荐或对话式 Agent 有直接指导，避免离线假设导致的性能高估
- 全双工中断与嵌套交互分析：通过 Interruption Diagnostic Suite 和 Nested Chain Completion Score，量化模型在被打断后的沉降与上下文恢复能力，可借鉴其设计思路优化多智体协作或用户频繁打断场景下的响应策略
- 离线能力≠在线表现：实验发现 MiniCPM-o 从离线到在线数学推理质量下降 0.3358，提示业务迁移时需专门评估在线流式性能，不能仅依赖离线基准